Speech to text models tend to be trained and evaluated against a single target accent. This is especially true for English for which native speakers from the United States became the main benchmark. In this work, we are going to show how two simple methods: pre-trained embeddings and auxiliary classification losses can improve the performance of ASR systems. We are looking for upgrades as universal as possible and therefore we will explore their impact on several models architectures and several languages.
translated by 谷歌翻译
逆文本归一化（ITN）用于将自动语音识别（ASR）系统的口语输出转换为书面形式。传统手工制作的ITN规则可以复杂地转录和维护。同时，神经建模方法需要与ASR系统相同或相似的域（内域数据）中的质量大规模口语写作示例。这两种方法都需要昂贵且复杂的注释。在本文中，我们提出了一种数据增强技术，该技术可有效地从室外文本数据中产生丰富的口语写入数字对，并以最少的人类注释。我们从经验上证明，使用我们的数据增强技术训练的ITN模型始终超过ITN模型，该模型仅使用14.44％的总体准确性，仅在所有数字表面（例如红衣主教，货币和分数）上使用内域数据进行训练。
translated by 谷歌翻译
本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。
translated by 谷歌翻译
450万小时的英语演讲从10个不同的10个不同来源，跨越高达10亿参数的不同来源，我们探索了自动语音识别的规模前沿。我们提出了数据选择技术，以有效地缩放培训数据，以找到大规模数据集中最有价值的样本。为了有效地进行模型尺寸，我们利用各种优化，例如稀疏传感器丢失和模型分片。通过培训1-10B参数通用英语ASR模型，我们将语音识别性能的限制推动在许多域中。此外，我们的模型学习强大的语音表示，在新域名和言语方面具有零和少量功能，超出了多个内部和公共基准的先前结果。对于由于脑损伤而具有障碍的扬声器，我们最好的零射击和少量射频分别在Aphasiabank测试集中实现了22％和60％，同时在公共社交媒体视频中实现了最佳性能。此外，相同的通用模型在SPGISPeech Financial-Domain数据集上达到了500倍的域内数据等效性能。
translated by 谷歌翻译
从未标记数据的代表学习一直是对人工智能研究的重大兴趣。虽然自我监督的言语代表学习在语音研究界受欢迎，但很少有效地对非语音音频任务进行了全面分析了音频表示学习。在本文中，我们提出了一种自我监督的音频表示学习方法，并将其应用于各种下游非语音音频任务。我们将众所周知的Wav2Vec 2.0框架结合起来，这在用于语音任务的自我监督学习中取得了成功，具有参数效率的构装体系结构。我们的自我监督的预培训可以减少三分之二的标记数据的需求。在Audioset基准测试中，我们达到平均平均精度（地图）得分为0.415，这是通过仅限音频自我监督的学习在此数据集上的新型最先进的。我们的微调符合子也超越了在几个下游任务上以监督方式预先培训的先前系统的性能。我们进一步讨论了预先培训和微调的重要设计考虑因素。
translated by 谷歌翻译
Can we teach a robot to recognize and make predictions for activities that it has never seen before? We tackle this problem by learning models for video from text. This paper presents a hierarchical model that generalizes instructional knowledge from large-scale text corpora and transfers the knowledge to video. Given a portion of an instructional video, our model recognizes and predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the capabilities of our model, we introduce the \emph{Tasty Videos Dataset V2}, a collection of 4022 recipes for zero-shot learning, recognition and anticipation. Extensive experiments with various evaluation metrics demonstrate the potential of our method for generalization, given limited video data for training models.
translated by 谷歌翻译